Ông sinh ngày 12 tháng 6 năm 1936, lớn lên tại huyện Can Lộc, tỉnh Hà Tĩnh.[1]

Năm 1954, ông tốt nghiệp trung học tại trường kháng chiến Phan Đình Phùng - Hà Tĩnh, ra Hà Nội thi vào trường Đại học Khoa học.

Hết năm thứ nhất, ông chọn trường Đại học Sư phạm Khoa học. Cũng chính tại đây, Phan Đình Diệu đã tìm thấy sự say mê đối với ngành toán học. Năm 1957, ông tốt nghiệp thủ khoa và được giữ lại trường làm cán bộ giảng dạy.

Năm 1962, ông được cử đi Liên Xô làm nghiên cứu sinh tại Khoa Toán học tính toán và Điều khiển học, trường Đại học Tổng hợp quốc gia Moskva mang tên Lomonosov.

Năm 1965, sau khi hoàn thành luận án tiến sĩ, ông được đề nghị ở lại làm tiếp luận án tiến sĩ khoa học và đến năm 1967, ông về nước với học vị Tiến sĩ Khoa học.

Năm 1971, ông được đề nghị làm Trưởng phòng Toán học tính toán của Uỷ ban Khoa học Nhà nước vào thời điểm cả nước chỉ mới có một dàn máy tính được đặt tại đây, đòi hỏi phải được nghiên cứu để sử dụng và đào tạo cán bộ. Ông đã tìm hiểu và học tập để xây dựng những tập thể cán bộ không những biết sử dụng máy tính, mà còn có khả năng nghiên cứu ở trình độ cao về một số hướng phát triển hiện đại của khoa học máy tính và tin học.[2]

Năm 1975, trong một chuyến thực tập tại Pháp, ông đã được tiếp xúc với nhiều thành tựu hiện đại của ngành tin học trên thế giới. Từ đó, ông đã say mê tìm hiểu hai hướng phát triển mà ông cho là có triển vọng nhất và có thể ứng dụng và phát triển ở Việt Nam là vi tin học (trên cơ sở kỹ thuật vi xử lý và máy vi tính) và viễn tin học (trên cơ sở công nghệ viễn thông và mạng máy tính).

Năm 1977, Viện Khoa học tính toán và điều khiển được chính thức thành lập, và ông được phân công làm viện trưởng. Ông là viện trưởng đầu tiên của Viện Khoa học tính toán và Điều khiển (nay là Viện Công nghệ Thông tin Việt Nam). Là người dự thảo kế hoạch và cũng là người quản lý, từ năm 1977 đến 1985, ông đã đưa viện vượt qua nhiều khó khăn, trở ngại của buổi đầu hoạt động, xây dựng được một số hướng nghiên cứu chính về tin học.

Sau đó, ông làm Phó Viện trưởng Viện Khoa học Việt Nam (nay là Viện Khoa học và Công nghệ Việt Nam), phó Trưởng ban thường trực Ban chỉ đạo Chương trình Quốc gia về Công nghệ Thông tin khóa I (1993-1997), Thành viên Hội đồng Chính sách Khoa học và Công nghệ Quốc gia Việt Nam (từ năm 1992).

Ông còn là người sáng lập và Chủ tịch đầu tiên Hội Tin học Việt nam.

Ông giảng dạy các môn học: độ phức tạp tính toán, lý thuyết mật mã và an toàn thông tin, lập luận logic trong các hệ tri thức cho sinh viên và học viên sau đại học tại Khoa Công nghệ Thông tin - Trường Đại học Công nghệ thuộc Đại học Quốc gia Hà Nội.

Thập niên 90, ông được Ủy viên Bộ Chính trị Nguyễn Hà Phan bảo lãnh, giới thiệu trở thành một Ủy viên của Đoàn chủ tịch Uỷ ban Trung ương Mặt trận Tổ quốc Việt Nam các khoá III, IV, V, VI, VII[3], nguyên Đại biểu Quốc hội Việt Nam khóa V, Quốc hội Việt Nam khóa VI.[4][5]

Ông hoạt động phong trào dân chủ, đòi đổi mới chính trị (đa nguyên, đa đảng) để phát triển đất nước, do đó bị gạt bỏ khỏi danh sách đại biểu Quốc hội. Tuy nhiên tiếng nói của ông có tính khoa học cao, nên có sức thuyết phục lớn, đặc biệt là đối với giới khoa học tại Hà Nội.